from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from urllib import parse
#这个是一个用来控制chrome以无界面模式打开浏览器的配置
#创建一个参数对象，用来控制chrome以无界面的方式打开
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=chrome_options)
keyword = "大数据"
keyword = parse.quote(parse.quote(keyword))  # 对大数据关键词进行URL编码
# url 中 040000 表示深圳市，要改变地区可以改这个值
url = "https://search.51job.com/list/040000,000000,0000,00,9,99,"+ keyword + ",2,1.html"
driver.get(url)
driver.implicitly_wait(2) # 等待两秒
page = driver.page_source
# 获取页码
import re
pagenum = re.search(r'<span class="td">共 (\d+) 页</span>',page,re.S)
print("共",pagenum.group(1),"页招聘信息")

# 使用正则表达式获取当前页面的所有链接
links = re.findall(r'<div class="e">.*?<a href="(.*?)" target=".*?" class="el">.*?</div>', page,re.S)
print(links)
driver.close()